近年来，自我监督的学习在涉及计算机视觉和自然语言处理的应用中取得了重大成功。借口任务的类型对性能提升至关重要。一个常见的借口任务是图像对图像之间的相似性和异化的量度。在这种情况下，构成负对的两个图像与人类明显不同。然而，在昆虫学中，物种几乎无法区分，因此难以区分。在这项研究中，我们探讨了暹罗神经网络的表现，通过学习使用对比损失来推动大黄蜂物种对的嵌入，这是不同的，并将相似的嵌入物汇集在一起。我们的实验结果显示了零射击实例的61％F1分数，表现出对与培训集交叉口的类别的提高11％的性能。
translated by 谷歌翻译
Decentralized learning with private data is a central problem in machine learning. We propose a novel distillation-based decentralized learning technique that allows multiple agents with private non-iid data to learn from each other, without having to share their data, weights or weight updates. Our approach is communication efficient, utilizes an unlabeled public dataset and uses multiple auxiliary heads for each client, greatly improving training efficiency in the case of heterogeneous data. This approach allows individual models to preserve and enhance performance on their private tasks while also dramatically improving their performance on the global aggregated data distribution. We study the effects of data and model architecture heterogeneity and the impact of the underlying communication graph topology on learning efficiency and show that our agents can significantly improve their performance compared to learning in isolation.
translated by 谷歌翻译
由于其物理能力，模拟的类人动物是一个吸引人的研究领域。尽管如此，他们也在控制方面具有挑战性，因为政策必须推动不稳定，不连续和高维物理系统。一种经过广泛研究的方法是利用运动捕获（MOCAP）数据来教授类人动物的低水平技能（例如，站立，步行和跑步），然后可以重新使用以综合高级行为。但是，即使使用MOCAP数据，控制模拟的类人动物仍然非常困难，因为MOCAP数据仅提供运动学信息。寻找物理控制输入以实现所示动作需要计算密集型方法，例如增强学习。因此，尽管有公开可用的MOCAP数据，但其效用仍限于具有大规模计算的机构。在这项工作中，我们通过训练和释放高质量的代理，可以大大降低有关该主题的生产研究的障碍，这些代理可以在基于DM_Control物理学的环境中跟踪三个小时的MOCAP数据以上的MOCAP数据。我们释放Mocapact（动作动作捕获），这些专家代理的数据集及其推出，其中包含本体感受观察和动作。我们通过使用它来训练单个层次结构策略来证明MOCAPACT的实用性，该策略能够跟踪DM_Control中的整个MOCAP数据集并显示学习学到的低级组件可以被重新使用以有效地学习下游高级任务。最后，我们使用MoCapact训练自动回旋GPT模型，并表明它可以控制模拟的类人动物以在运动提示下执行自然运动完成。结果和指向代码和数据集的链接的视频可在https://microsoft.github.io/mocapact上获得。
translated by 谷歌翻译
解释性学者通过手动采样文档，应用代码以及将代码精炼和整理成类别，直到出现有意义的主题，从而从文本语料库中产生知识。鉴于大量的语料库，机器学习可以帮助扩展此数据采样和分析，但先前的研究表明，专家通常关注算法可能破坏或推动解释性奖学金。我们采用以人为本的设计方法来解决围绕机器辅助解释性研究的关注，以构建学术研究，该研究将机器中的集群算法纳入了脚手架解释性文本分析。随着学者将代码应用于文档和完善它们，所得编码的模式用作结构化元数据，该元数据限制了从语料库推断出的层次文档和单词簇。这些集群的交互式可视化可以帮助学者们战略性地对文档进行进一步的洞察力进行洞察力。 Scholastic证明了采用熟悉隐喻的以人为中心的算法设计和可视化如何通过交互式主题建模和文档群集来支持归纳和解释性研究方法。
translated by 谷歌翻译
本文提出了一种新的FNC-1假新闻分类任务的方法，其中涉及使用类似NLP任务的预训练编码器模型，即句子相似性和自然语言推断，并提出了使用这种方法的两个神经网络架构。探讨了数据增强方法作为解决数据集中的类不平衡的一种手段，采用常见的先前存在的方法，并提出了一种使用新句子否定算法的代表性不足类中样本生成的方法。与现有基线相当的总体性能是可比的，而对于FNC-1的代表性不足但仍然重要的类别的准确性显着提高了准确性。
translated by 谷歌翻译
我们解决了与行业相关的尺度上的机器人轨迹计划问题。我们的端到端解决方案将高度通用的随机键算法与模型堆叠和集成技术集成在一起，以及用于溶液细化的路径重新链接。核心优化模块由偏置的随机基遗传算法组成。通过与问题依赖性和问题相关模块的独特分离，我们通过约束的天然编码实现了有效的问题表示。我们表明，对替代算法范式（例如模拟退火）的概括是直接的。我们为行业规模的数据集提供数值基准结果。发现我们的方法始终超过贪婪的基线结果。为了评估当今量子硬件的功能，我们使用Amazon Braket上的QBSOLV在量子退火硬件上获得的经典方法进行了补充。最后，我们展示了如何将后者集成到我们的较大管道中，从而为问题提供了量子准备的混合解决方案。
translated by 谷歌翻译
归一化流程模型在简单的基本分布上运行的族裔转换方面，复杂的目标分布。因此，它们可以对许多重要的统计量，尤其是可能性和样本进行可触及的计算。尽管具有这些吸引人的属性，但更复杂的推理任务的计算，例如复杂区域（例如，多层）上的累积分布函数（CDF）仍然具有挑战性。使用蒙特卡洛技术的传统CDF近似值是公正的，但具有无界方差和较低的样品效率。取而代之的是，我们建立在标准化流的差异特性的基础上，并利用差异定理在目标空间中的封闭区域估计CDF，这是由横向范围的流量横向空间的\ emph {boundare}而言。我们描述了该估计值的确定性和随机实例：而确定性变体迭代通过策略性地细化边界来改善估计值，而随机变体则提供了无偏的估计值。我们对流行流架构和UCI基准数据集的实验表明，与传统估计器相比，样本效率的提高显着提高。
translated by 谷歌翻译
我们展示了如何使用图形神经网络来解决规范的图形着色问题。我们将颜色框架为多类节点分类问题，并基于统计物理Potts模型利用无监督的培训策略。对其他多级问题（例如社区检测，数据聚类和最低集团封面问题）的概括是简单的。我们提供数值基准结果，并通过端到端的应用程序说明了我们的方法，用于在全面的编码程序框架内实现现实世界调度案例。我们的优化方法在PAR或优于现有求解器上执行，并能够扩展到数百万变量的问题。
translated by 谷歌翻译
游戏历史悠久的历史悠久地作为人工智能进步的基准。最近，使用搜索和学习的方法在一系列完美的信息游戏中表现出强烈的表现，并且使用游戏理论推理和学习的方法对特定的不完美信息扑克变体表示了很强的性能。我们介绍游戏玩家，一个通用算法，统一以前的方法，结合导游搜索，自助学习和游戏理论推理。游戏播放器是实现大型完美和不完美信息游戏中强大实证性能的第一个算法 - 这是一项真正的任意环境算法的重要一步。我们证明了游戏玩家是声音，融合到完美的游戏，因为可用的计算时间和近似容量增加。游戏播放器在国际象棋上达到了强大的表现，然后击败了最强大的公开可用的代理商，在头上没有限制德克萨斯州扑克（Slumbot），击败了苏格兰院子的最先进的代理人，这是一个不完美的信息游戏，说明了引导搜索，学习和游戏理论推理的价值。
translated by 谷歌翻译
分类器通常在时间约束的设置中使用，其中必须将标签分配给快速输入。为了解决这些方案，预算的多级分类器（MSC）通过一系列部分特征获取和评估步骤，直到可以进行自信的预测，通过一系列部分特征获取和评估步骤输入。这允许快速评估，可以在时间关键实例中预防昂贵的不必要的特征获取。然而，MSCs的性能对几个设计方面非常敏感 - 使这些系统的优化成为一个重要但困难的问题。为了近似最初的难以应变的组合问题，电流对MSC配置的方法依赖于良好的代理损失函数占两个主要目标（处理成本，错误）。这些方法在许多情况下证明是有用的，但受到分析限制（凸，平滑等）的限制，并且不管理额外的性能目标。值得注意的是，这些方法没有明确地解释实时检测系统的一个重要方面 - 满足风险厌恶监视器施加的一些置信标准的“可接受”预测的比率。本文提出了一种特定于特定于问题的遗传算法的EMSCO，其包括终端拒绝选项，以便犹豫不决预测，并将MSC设计视为具有不同目标的进化优化问题（准确性，成本，覆盖）。该算法的设计强调了Pareto效率，同时尊重通过独特的标定化概念聚合性能的概念。进行实验以展示EMSCO在各种θ（k ^ n）解决方案空间中找到全球最佳的能力，并且多个实验表明EMSCO与替代预算方法具有竞争力。
translated by 谷歌翻译